会社に電話．担当者待ち． ↓ なんと色よいお返事！
評価 どこかのノードを見てそれ通り分類ができているか確認 人の文章の単語で分類がちゃんとできたか？ 中身見る 検索システムを早く完成させるべし 関連研究調査 'オフィス'だけでやってみた グラフが面白！ まず第一段階を指定して，そこから概念束作った…
「オフィス」をシチュエーションとみて，それが含まれる製品だけでこれまでとおなじことをやってみる ucwom/以下から"オフィス"を含むファイルを探索 別フォルダにまとめて保存→office.rb TFを計算→all_tf1.rb TF-IDFを計算する．DFは全部でいい． 概念束の…
○○メイク，○○系，○○向け，○○用，○○っぽいなどで系統を抽出 ○○は↑の用法で用いられていなくても系統の意味にとってよい（と思う） 単語を人手でチェック カテゴリに特有の単語はカット 上記分類でアイテムを表示させた概念束↓ ○○を表示させた概念束↓ そのアイ…
カテゴリ毎の頻出単語を出す ucwom/freq/カテゴリID.fr 新DFでcosine類似度出してみる？
はじめに インターネットの普及 CGM 情報過負荷 検索 推薦 本研究の目的 扱うデータ クチコミとは クチコミサイト@cosme 収集した@cosmeのクチコミデータ データ分析手法 ユーザーがクチコミをしたかしてないかのデータを使う 頻出アイテム集合 概念束の属性…
メイクの系統を表す言葉として，「○○系」とかも採用してよいんじゃないか． 色を表している場合が多い．ex.青系，ピンク系，ブラウン系etc 同じ色が同じアイテム集合に… それもいんだけど（目的同じだから），シャドウもチークもリップもピンクだったら面白…
この3連休で論文を書くぞ！ということで．以下リンク先はPDF. Web ネットワークにおけるクチコミ効果 2005年．たぶん@cosmeをデータとして使っている．掲示板への書き込みとその影響の広がり，効果． 相互作用性に着目したクチコミ研究の系譜と展望: 関係性…
行列操作がだいぶ用意されているので楽だった． プログラミング言語 Ruby リファレンスマニュアル Matrix - mumoshu.log概念束プログラムがバージョンアップしたので不要になりました
# ./make_mkcl0.rb # sort make.mat | uniq > tmp # ruby atr.rb tmp > make.atr # ./make_mkcl.rb > make1.mat
今のままだとなんのこっちゃ分からないので，カテゴリ毎に記号化して表示 欲しいアイテムセットが出るか？ カテゴリ毎に分けられてしまっているので，DFを求める際の文書集合をカテゴリ毎にする 現状は属性を上限10個に制限しているのでその制限を解除 ユー…
概念束が作れるようになったので，以前やろうとしたカテゴリ毎の概念束も作ってみた．割ときれいにできた例を掲載． 53:入浴剤・バスグッズ 51:ネイルケア・ネイルグッズ 24:リムーバー
行末に空白が入ってたのがいけなかったのかもしれないという結論．形式はかなりストリクトなものが求められるので注意すべし． perl -pe 's/rankdir=\"LR\";(.*)Osaka(.*)/$1\/usr\/home\/shima\/gothic\.ttf$2/' file2 行をオブジェクト，列をアトリビュー…
げじせんせいのお告げ 概念のオブジェクト集合はわかってるのでアトリビュート集合は求める 隣接する概念の差分を求める 隣接する概念をファイルに書き出す オブジェクトの集合からセットを作る 検索用にどのオブジェトがどの概念にあるか, どの属性がどの概…
インストール # cd /usr/ports/www/apache22/ # make # make install # make clean 設定 /etc/rc.conf $apache22_enable=YESを追記 /usr/local/etc/apache22/http.conf サーバー名とかCGIの設定とかaliasとか追記 起動 /usr/local/etc/rc.d/apache22 start …
ユーザごとの形態素解析結果→uwom/ all_tf.rb→TF値→u-tf/（クチコミ10件以上のみ） この場合のDF値ファイル→u-df.csv（df.rb） tf-idf.rb→N=3178 term_list_u.rb ユーザごと，アイテムカテゴリに制限をかけた形態素解析結果→ucwom/ なんていうか…ユーザごと…
対象カテゴリ内すべての製品(4627個)で，TF-IDF値の高いtermの上位1000語を抽出 td_list.1000←こいつを属性のリストとする で，概念束作ってみる 閾値(7.94661756324447)以上のTF-IDF値を持つ場合，それをそいつの属性とする 製品55個，概念束作れず 閾値(7.…
「しっとり」とか感覚的な単語は使われていたらそれでOKじゃないか？ 閾値以上の回数使われていればOK！ 副詞・形容詞を全チェック 擬態語などをすべてリストアップ→属性に使う カテゴリ毎に頻出単語を出す
以前は1クチコミ＝1文書でやってたので1製品に対する全クチコミ＝1文書でTF-IDFを計算してみる．前からやってたっぽいorz mecab.rbで製品ごとの形態素解析結果ファイルを作成 all_tf.rbでTFを計算 tf-idf.rbでTF-IDFを計算（ここで特徴語が出る） td_cut.rb…
> foreach i (1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68) foreach? ruby effect0.rb itmLi…
一個だけできたやつ．口紅部門×効果 全体（全部，10以上，10人以上）×ユーザ→不可 全体×○○メイク→不可 カテゴリごと（68個）×効果→不可 属性の数が少なすぎ． 感覚的な単語も抽出して加味 同じ用途のカテゴリは一緒にする 今後の方針 来週いっぱいまでにアイ…
http://www.math.ias.edu/doc/ruby-docs-1.8.2/refm-ja/refm163.html ファイルコピーとかが簡単にできる． require 'fileutils' FileUtils.cp( src, dest, *options ) ファイル src を dest にコピーします。dest がディレクトリならdest/src にコピーします…
Dir.glob(pattern) ワイルドカードの展開を行った結果を文字列の配列として返します。 パターンにマッチするファイルがない場合は空の配列を返します。 よって， patternがディレクトリ名だった場合 ディレクトリpatternが存在すれば配列["pattern"]を返す …
foreachコマンドの使い方: UNIX/Linuxの部屋 指定されたファイルに対して、一連のコマンドを実行する。例えば複数のファイルの文字コードを変換したい場合、 % foreach i ( file1 file2 file3 ) foreach? nkf -e tmp foreach? mv tmp $i foreach? end かっこ…
#cvsup -g -L 2 /etc/ports-supfile いろいろインストール /usr/X11R6 exists, but it is not a symlink. Installation cannot proceed. This looks like an incompletely removed old version of X. In the current version, /usr/X11R6 must be a symlink …
アイシャドウ・チーク・ フィット感 持ちがよい 発色がよい 潤い シアー・薄づき マット ツヤ パール・ラメ ベースメイク下地・ファンデ・パウダー・コンシーラー ナチュラル カバー力 毛穴カバー くずれにくい 潤い 美白・くすみ マット ツヤ アクネケア 日…
% apriori -c30 -s30 ../../tmp.csv tes.rul apriori - find association rules with the apriori algorithm version 4.31 (2007.03.12) (c) 1996-2007 Christian Borgelt reading ../../tmp.csv ... [15597 item(s), 297 transaction(s)] done [0.21s]. fil…
全部でやろうとしたら画像が見れなかったので絞ってみた。ら、びみょー…真ん中の3製品だけ
形式 @id1.txt # file_name 1(頻度) term1 2 term2 : @id2.txt 1 term1 2 term2 : : file_nameは参照するわけではないのでなんでもいい
% ruby sep_make_f-a.rb f_a-sep_make.csv 単語が含まれる製品IDを出力。1単語1行。
