R で大規模データを処理する
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
*R で大規模データを処理する [#n4d25ed1]
R では大規模なデータを扱うのは無理で、そのようなデータは ...
以下に大規模データを処理する方法を書いていくつもり．．．
*RDBMS を使う [#d38ae707]
-[[surveyNG:http://www.user2007.org/program/presentations...
*並列処理を使う [#x3a87573]
大規模な計算をする中で、並列処理が可能な計算を行う場合、...
基本的には「分割」→「演算」→「集約」の手順で実装してある。~
もちろんマルチコアかクラスター環境じゃないとあまり意味が...
とりあえず、列挙。使い方はしばし待たれよ…。
-snow:(Simple Network On Workstationの略)並列計算クラスタ...
-foreach:バックエンドに依存しない形で並列処理をするための...
-doSNOW:foreach内部で利用できるsnow。特にsnowライブラリは...
*大規模なメモリーを扱えるパッケージ [#a7625219]
**汎用 [#uf7bfc22]
-bigmemory: 「big.matrix」形式のデータを扱うための基本ラ...
--biganalytics: 「big.matrix」形式に対応した基本的な分析...
--bigtabulate: 「big.matrix」形式に対応した基本的な集計ツ...
-memisc: データ管理、シミュレーションと評価の表示
--[[Management and Analysis of Large Survey Data Sets Usi...
-filehash
--Peng RD: Interacting with data using the filehash packa...
-ff: memory-efficient storage of large atomic vectors and...
--[[The ff package: Handling Large Data Sets in R with Me...
--[[Reading huge files into R:http://www.r-bloggers.com/r...
--[[If you are into large data and work a lot with packag...
--[[Opening Large CSV Files in R:http://stathack.wordpres...
-biglm 大規模データ用回帰モデル
-R.huge: 大規模データへのアクセスメソッド
-rindex: Indexing for R
-DatABEL: HDD 上にバイナリ形式で蓄積された巨大行列へのフ...
//file-based access to large matrices stored on HDD in bi...
*特定用途向け [#x89f00d8]
-biglm
*[[R と Big Data 処理]] [#y1ae4e76]
*参考リンク [#l49d6711]
-[[Quickly reading very large tables as dataframes in R:h...
終了行:
*R で大規模データを処理する [#n4d25ed1]
R では大規模なデータを扱うのは無理で、そのようなデータは ...
以下に大規模データを処理する方法を書いていくつもり．．．
*RDBMS を使う [#d38ae707]
-[[surveyNG:http://www.user2007.org/program/presentations...
*並列処理を使う [#x3a87573]
大規模な計算をする中で、並列処理が可能な計算を行う場合、...
基本的には「分割」→「演算」→「集約」の手順で実装してある。~
もちろんマルチコアかクラスター環境じゃないとあまり意味が...
とりあえず、列挙。使い方はしばし待たれよ…。
-snow:(Simple Network On Workstationの略)並列計算クラスタ...
-foreach:バックエンドに依存しない形で並列処理をするための...
-doSNOW:foreach内部で利用できるsnow。特にsnowライブラリは...
*大規模なメモリーを扱えるパッケージ [#a7625219]
**汎用 [#uf7bfc22]
-bigmemory: 「big.matrix」形式のデータを扱うための基本ラ...
--biganalytics: 「big.matrix」形式に対応した基本的な分析...
--bigtabulate: 「big.matrix」形式に対応した基本的な集計ツ...
-memisc: データ管理、シミュレーションと評価の表示
--[[Management and Analysis of Large Survey Data Sets Usi...
-filehash
--Peng RD: Interacting with data using the filehash packa...
-ff: memory-efficient storage of large atomic vectors and...
--[[The ff package: Handling Large Data Sets in R with Me...
--[[Reading huge files into R:http://www.r-bloggers.com/r...
--[[If you are into large data and work a lot with packag...
--[[Opening Large CSV Files in R:http://stathack.wordpres...
-biglm 大規模データ用回帰モデル
-R.huge: 大規模データへのアクセスメソッド
-rindex: Indexing for R
-DatABEL: HDD 上にバイナリ形式で蓄積された巨大行列へのフ...
//file-based access to large matrices stored on HDD in bi...
*特定用途向け [#x89f00d8]
-biglm
*[[R と Big Data 処理]] [#y1ae4e76]
*参考リンク [#l49d6711]
-[[Quickly reading very large tables as dataframes in R:h...
ページ名:
![[RjpWiki]](image/../Rlogo.png "[RjpWiki]")
