言語処理100本ノック第2章に挑戦 前回に引き続いて『言語処理100本ノック第2章: UNIXコマンド』のための環境構築と実装を行っていきたい。今回の章はタイトルの通り UNIX コマンドを実行し、その通りに動くプログラムを作って突合する。 外部ダウンロードフ…

GitHub Actions を CI 活用 上記のようなプログラムを管理するのにあたって CI 環境を構築したい。CI とは Continuous Integration の略で複数の開発者が継続的にメインブランチに統合していくこと。これを実現するためにはローカルテストだけではなく、例え…

青空文庫の形態素解析データを作りたい 例えば『お好み焼きの戦前史 第二版』においても過去文献類をスキャンしたり、ネット上の文献をダウンロードすることで作成した電子テキストデータ群を解析することで料理方法の初出や普及の過程を明らかにしており、…

O'Reilly の電子書籍をテキストマイニング 上記の環境を整えたかった理由のひとつとして電子書籍のテキストマイニングがある。 Amazon Kindle や 楽天 Kobo などの電子書籍データは暗号化されているため正当な方法で抽出することができないが、オライリー出…

Pythonで計量テキスト分析する環境を構築 蔵書やWebニュースなどの計量テキスト分析をするために、テキストマイニングのための環境を作成しているのだけど、自然言語処理においては形態素解析が必要となる。形態素解析とはテキストの品詞分類を行なって分か…

テンプレート的な既存リポジトリを依存関係なく複製したい Python でちょっとしたツールを作る時に毎回毎回同じようなコードを書くのも面倒なので、 GitHub に定型コードを集めたリポジトリを作って git clone や fork を使ってリポジトリを複製していたのだ…

Kindle書籍タイトルからシリーズ名を取得したい Kindle の書籍タイトルからシリーズ名を取得しておきたいと思うことがある。既に所持しているシリーズの新刊が出たら通知したり、逆にいらないと判定したらシリーズ全体をブロックしたり、セール対象の一覧を…

Kindle の蔵書一覧ファイルが欲しい Amazon Kindle で大規模なセールをやっているのだけど、このようなセールがあると既に持っている電子書籍を除外して検索したいと思うことがある。数千冊を所持していると買ったか買っていないかの記憶が朧げであるし、持…

朝日新聞長文要約APIを試してみた 先日公開された朝日新聞の要約APIを試してみました。私が書いたスクリプトは以下。 長めの文章を「sample.txt」というファイルにまとめておくと、勝手に内容を読み込んで要約してくれます。 id:tekitoeditor さんが、朝日新…

パンくずリストカスタマイズの終焉 5年ほど前にはてなブログに階層型のパンくずリストを設置して、Googleに認識させるスクリプトを公開したのだけど、data-vocabulary.org を利用した方式が利用できなくなったとのこと。 公式機能にパンくずが実装された時点…

ゲームプログラマーになりたかった 迷路をランダム生成して、その最適解を強化学習するプログラムを書いていてゲームプログラマーへの憧れを思い出した。中学生の頃には Visual Basic で簡単なシューティングゲームを作ったりもしてたのだけど、高校生になる…

迷路を解くためのモデル生成 こちらの続きで、Deep-Reinforcement-Learning-Book/2_2_maze_random.ipynb at master · YutaroOgawa/Deep-Reinforcement-Learning-Book · GitHub を参照しながら強化学習で迷路を解くモデルの生成と可視化を実装する。 迷路の定…

グラフアニメーションを生成したい 改めて機械学習の勉強を始めるのにあたってグラフのプロットをアニメーションで表示させたくなった。Python ライブラリの matplotlib には直接アニメーションを表示させる機能もあるが、環境情報を Docker コンテナのコン…

SQL 得意おじさんとデータサイエンティスト これまでの仕事の経歴として、大規模データを効率的に集計・整形したり、BIツールのためのETL基盤を構築するような案件に多く関わってきた。なので「ビッグデータの専門家」という盛った紹介をうけることもあるの…

はじめての React 上記で構築した Docker 環境で Laravel x React に入門してみる。 基本的には resources/views/welcome.blade.php から紐づけた resources/assets/js/components/Example.js を編集していく。 import React, { Component } from 'react'; i…

最初のフロントエンドを選ぶのじゃ Laravel で Web アプリを作っていたのだけど、今どきの Web アプリケーションにおいてはサーバーサイドで API だけ作って画面表示は Javascript で生成するのが一般的なようだ。 そんな時流において、サーバーサイドのテン…

Laravel を Docker で使ってみよう 今更ながらにプログラミング熱が高まっているので、GW中に Webアプリケーションでも作成してみようと、PHP の Laravel 環境を作ってみることとした。ローカル環境を汚したくないので Docker を利用。 Laradock のような作…

コードの書けないエンジニア問題 僕自信のキャリアを考えると本当に「コードの書けないエンジニア／ディレクター」の道を歩んできたと思う。そこには能力の壁と業務管掌の壁がある。SIer のプロジェクトリーダーとしても、事業会社のディレクターとしても「…

日本株に使えない株価取得API 投資信託への気絶投資は別に小型バリュー株の積立をやっているのだけど、総合的な配当利回りを把握する手段がなくて難儀していた。過去にあった Yahoo！や Google のエンドユーザー向けAPIは廃止されており、その他のサービスも…

Python3環境の準備 データ解析基盤Mac で Python3 環境での開発を行う準備を環境を準備した際の備忘録。Anacondaなどを利用すれば一発で入るけど、サーバー環境に移行する場合にコンフリクトするのが面倒なのと自身の理解のためにいちからやってみる。まずは…

シーザー暗号化／復号化ツール（日本語対応） /* シーザーー暗号化 */ function caesar(val, key) { console.log(val); val = encodeURIComponent(val); var result = ""; for (var i = 0; i シーザー暗号による簡易難読化スクリプト

アドブロックされたら記事本文が関西弁になるスクリプト 種明かしをすると、adspace.cssというのが、どうやらAdblockが『ブロック』するCSSファイルのひとつになるようです。同CSSファイルの中に『a-alert』というクラスを非表示にする命令が組み込まれてい…

はてなブックマーク数をGoogleスプレッドシートで管理したい 以前に、Googleスプレッドシートにある「GOOGLETRANSLATE」関数を用いて多言語対訳表を作ったのだけど、これはGoogle翻訳のAPIをスプレッドシート上で実行することで実現されている。 開かれたWeb…

対訳表を作るのが面倒 システム設計をする時に、データベース名や変数名や表示名などを決めるのが面倒です。一般的には英字文字列で作るのですが、ローマ字で「kokyaku」とか付けるのはダサいし、いちいち辞書を引いていくのも面倒です。 多言語対応のために…

はてなブログのスマートフォン表示の追尾ヘッダーがウザい はてなブログのスマートフォン表示が変更されて、追尾ヘッダーがつくようになりました。スマートフォンの小さい画面で追尾されるとウザいので嫌いなデザインです。 イラッときたので消してしまいま…

バイラルメディア風シェアボタンを回転させる このブログでは、文字ベースのバイラルメディア風のシェアボタンを設置しています。 http://bulldra.hatenablog.com/entry/viral-share-button このボタンについて、マウスオーバーでちょっとした演出ができない…

photo by Vicky Brock 置かぬなら、勝手に設置、はてなスター この件について説明しても「JavaScriptをブロックしているのが悪影響にならないと100%は言い切れない」と返ってくるので考え方を抜本的に変えましょう。これからは、他人のブログにクライアント…

photo by keso こちらのカスタマイズは使用しないでください data-vocabulary.org のサポートが終了されるため、こちらのカスタマイズは利用できません。はてなブログ公式の機能を利用したり、リンク先で紹介されている方法への差し替えをお願いします。 Goo…

記事下にプロフィールリンクを表示するのが流行ってる 『http://bulldra.hatenablog.com/20140504/5737288.html』などでも触れられているのですが、記事下にプロフィールリンクを表示させるのが流行っています。実は私も『http://bulldra.hatenablog.com/ent…

photo by Ian Wilson プログラミングのスキルが錆びついてる 大学生の頃はよくプログラミングをしていて、自作のゲームでちょっとした賞を頂いたこともありました。その後、一応は情報通信業界に入ったものの、自分ではプログラミング出来ない状態が続いてフ…