/var/www/yatta47.log

/var/www/yatta47.log

やったのログ置場です。スクラップみたいな短編が多いかと。

ruby

【第1回】Googleアラートのページからフィードだけをスクレイピングする

さて。宣言したとおり、今日はスクレイピングで必要なデータを取ってこようかと思います。 「なんでこんなことやってる?」とか経緯を知りたい方は以下の記事からどうぞ。 yatta47.hateblo.jp それではスタート。 HTMLを取ってくる まず最初に、Googleアラー…

【第0回】GoogleアラートのRSSフィードをOPMLに変換してFeedlyにインポートする

今回は全3回に分けて表題の件「GoogleアラートのRSSフィードをOPMLに変換してFeedlyにインポートする」ことをやってみようかと思います。 使うのはRubyです。書き方とかかなり独自風で、しかも結構泥臭いことやっているので、「こうしたほうがいいよ」とか…

rakeタスクの作り方

Railsでのrakeタスクの作り方。 便利なのねー。Rails。最近便利さにどんどん気がついていく。個人的に重宝しているtask。その作り方の備忘録です。 taskの作成方法 簡単。コマンド一つ。 $ rails g task sample Running via Spring preloader in process 879…

cloud9環境でJekyllを動かす。bindだから「-b」を付けてもダメだよww

photo by mansikka Cloud9環境で相変わらず開発していますが、ぽつぽつ環境の違いにより動かなかったり、違うオプションだったりします。 その一つがJekyll。でも、正式ドキュメントでちゃんとフォローしてあります。 docs.c9.io 通常であれば jekyll serve …

今週とても参考になった情報。(情報の見せ方や技術要素など)

photo by ePublicist 調べごとをしていて、とても参考になったサイトさん。この情報で色々と進んだ気がする。 Markdownの書き方を解決 http://neulog.tumblr.com/post/54402061482/markdown-%E3%81%A7%E3%83%AA%E3%83%B3%E3%82%AF%E4%BB%98%E3%81%8D%E3%81%A…

Amazon ECSでHTTP Response: 400 Bad Request (Amazon::RequestError)が発生!その原因は?!

Product Advertising APIを使って新製品があったらSlackに投稿するみたいなことをやっていましたが、数日前からエラーが発生していました。 エラーの概要は400 Bad Request。 /opt/rbenv/versions/2.2.2/lib/ruby/gems/2.2.0/gems/amazon-ecs-2.4.0/lib/amaz…

GoogleアラートのRSSフィードで取得したURLから必要なURLだけ取り出す

Googleアラートをよく使っていて、最近それを元にSlackに投稿とかをしています。 その時に1点困る(というか気に入らない)点が・・・・ URLが長い!! Googleアラートで引っかかったアラートのURLがいつもこんな感じになっています。 https://www.google.c…

Feedly APIをrubyから使うのに参考にしたページ。

具体的な手順は以下のサイトを見てもらえれば一通り出来ると思いますが、自分なりに時間があるときにまとめようと思います。 今日は、参考にしたサイトのみですが自分の覚書も含めて記事に。 qiita.com 基本こちらをベースに。同じgem使いました。 http://sh…

やっぱりスキーマのルールどおりだった!!

photo by rami.sedhom 前回の記事で、feed_idの部分、ちょっともやもやしていたのでなんとなくActiveRecordのことを調べていたらピンポイントの回答がありました。 railsguides.jp 2.2 スキーマのルール Active Recordでは、データベースのテーブルで使用さ…

fastladderのテーブル構成の覚書

fastladderのテーブル一覧 sqlite> .tables crawl_statuses folders pins favicons items schema_migrations feeds members subscriptions この中でおぼえておくべきテーブルは"feeds"と"items"。feedsテーブルに登録されているURLをベースにデータを取得し…

Youtube API v3で動画を検索するのに参考にしているサイト

標題の件の通り。 最近RubyでYoutube APIを使ってモニョモニョやっている時に参考にしているサイト。 YouTube Data API (v3) コード サンプル | Google Developers 公開されているサンプルは以下。 検索についてはイイんだけど、個人的にやりたいのは動画ID…

SinatraでThread.exclusive is deprecated, use Mutex発生

ここ最近、Sinatraを使い出しています。 sinatraとは、Rubyで作られたWEBアプリのフレームワークです。Rubyスクリプト以上、Rails未満といった感じで初級者の自分にとってはとっつきやすいフレームワークです。 Sinatra: README (Japanese) こんなエラーが。…

Railsのログをローテート(切り替え)させる

Railsでアプリを作っているんですが、まだまだ作り途中なのでログ出力は必須。だが、めっちゃ量がある!! 2,3日放置していたら80Mってorz $ du -sh * 81M development.log ってことでログをローテートする方法を調べたので備忘録。 ローテートする方法 …

slackcatを使ってPrivateChannelに送ろうとした時にハマったこと

slackは結構前から情報収集の場、そしてコミュニケーションの場としてかなり使っています。 1日の最後にGoogleAnalyticsの今日のアクセス数一覧を投稿しておいて前日の話題を想像したり、今日のTodoを自動投稿しておいて朝からげんなりしたり、必ず見るTwitt…

TwitterをCLIで使えるtwというrubyGemが便利すぎる。

探していたというか、たまたま見つけて使ってみたらめっちゃ便利だったtwというgem。 github.com shokai.org これは便利すぎる。自分のニーズにかなりあっている。 使い方はこちら。 Tw: Twitter client on Ruby. shokai.org めっちゃ丁寧なチュートリアルが…

mecabをRubyから使おうとしたらエラーが・・・・

前回、cloud9環境にmecabのインストールをしたと思います。今回はそれをRubyから使ってみようと思います。 mecabのインストールはこちらの記事を参考に。 yatta47.hateblo.jp Rubyから使う場合にはnattoというのを使います。 nattoのインストール $ sudo gem…

Cloud9環境にmecabをインストール、文字化けした時の対処法。

最近のマイブーム、形態素解析をやるためにcloud9環境にmecabをインストールしました。 mecabとは オープンソースの形態素解析エンジンです。最終的にはこれをRubyから使うつもりで今は勉強中です。 MeCabはオープンソースの形態素解析エンジンで、奈良先端…

selenium + phantomjsで検索結果が文字化けする

URLエンコードでハマったので備忘録。 やりたかったのはseleniumとphantomjsを使ってGoogleにアクセスして、結果のURLだけリスト表示したいというのが事の発端。その時に日本語が結果(というかタイトル)としてうまく出力されない事象が発生しました。selen…

atomutilではてなブログに投稿しようとしたけど出来ない!!(Ruby編)

掲題の件。 やろうとチャレンジしたけど、結論から言えば出来てません。以下のサイトを参考にやったんだけど・・・・・ http://www.ownway.info/Blog/2011/08/m2watomutil.htmlwww.ownway.info どのページを見ても基本的には同じ書き方。でも、自分の環境で…

rbenvでRubyのバージョンを切り替えながら使う

photo by Theen ... 詳細はまとめてあげたいと思いますが、Rubyのバージョン違いにより実行できなくて困っています。今まで使えたスクリプトがぁぁぁぁぁって状態になっています。 Versionをあげたら動かなくなる・・・・・よくある話ですよね? ってことで…

RubyでRSSを読み込んで表示。

備忘録レベルの記事ですが・・・・ RubyでRSSをパースしてlinkだけを抽出するスクリプト。何度もワスrてしまうので。 require 'rss' url = 'http://yatta47.hateblo.jp/rss' rss = RSS::Parser.parse( url ) rss.items.each{|item| puts item.title puts ite…

Rubyの開発環境をVPSサーバ内からIDEに変えるかも。

絶賛Rubyでのサンプルを試しています。今まではVPSを借りているので、その中でターミナルをベースに色々とコード書いて実施していたのですが、ちょっとIDEでやったほうが効率がいいのではないかと(いまさら)思ってWEBブラウザベースで動くものを使ってみま…

rmagickで画像を横に並べる方法

先日から色々試しているrmagick。 とりあえずやりたかった一つとして、2つの画像を横に並べるというのがあります。実際にコードはこれ。 require 'rmagick' # require してライブラリを読み込み img_append = Magick::ImageList.new("sample01.jpg","sample0…

rmagickインストール時にエラー発生!そんな時の対処法。

早速rmagickをインストールして見たらインストールに失敗してエラーがたくさん。 萎えるわー。萎えるわぁぁぁぁー。 そんな泣き言を言っているわけにもいかないので先人様達のお知恵をお借りして、直していきます。 前回の記事で、rubyを使って画像処理をや…

rubyで画像処理をやりたいのです(これから検証することまとめ

前にPHPを使っての画像処理はお願いしてやってもらったのですが、最近各種スクリプトをrubyにしているのでそこもrubyに出来ないかなと思ってrubyの画像処理について調べています。 ってことで調べたことの備忘録 qiita.com ffmpegとかもruby経由で扱えるのか…

Mechanizeについて調べてます。

MechanizeとはRubyでスクレイピングするときに使うライブラリ?みたいなもの。 色々と調べているけどどうもよくわからない。っというかできることがいっぱいありすぎて調べて行ったら調べて行っただけウィンドウが開いていって画面がすごいことになっている…

【Ubuntu】 "make: g++: Command not found"と出た場合はg++をインストールで解消。

gemでインストールしている時に以下のようなエラーが出てきました。 checking for main() in -lstdc++... yes creating Makefile make compiling unf.cc make: g++: Command not found make: *** [unf.o] Error 127 Gem files will remain installed in /var…

rubyでWEBページのスクリーンショットをカジュアルに取る・・・・つもりだったが、ブサイクにしか取れなかったorz

rubyのことを調べていたら、すごく興味を引くWEBページがありました。 qiita.com このページタイトル。凄くセンスあるわ〜。中身を見てみてみたら本当にカジュアル。このセンス、ものすごく羨ましい。ちょうどスクショも取れるならばやってみたいなと思った…

sqlite3をUbuntuにインストール

Rubyに興味を持っている今日このごろ。 なにかこれで組んでいるわけではないけれど、ちょっとRuby on Railsとか使ってwebサービスを展開している人が多いから、勉強してみようかなと思っている次第です。 herokuにも乗るし。 そんな理由からRubyの勉強をはじ…