PowerShell/wgetやcurlのようにウェブページを取得する
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
#navi(../)
* PowerShellでwgetやcurlのようにウェブページを取得する方...
Invoke-WebRequestコマンドレットを使用することにより、wget...
以下に実行例等を記します。
#contents
#htmlinsertpcsp(win-top.html,win-sp.html)
* 確認環境 [#z5b0a6b6]
- PowerShellバージョン
PS C:\> $PSVersionTable.PSVersion
Major Minor Build Revision
----- ----- ----- --------
5 1 16299 251
- OS(Windows10)
PS C:\> (Get-WmiObject Win32_OperatingSystem).Version
10.0.16299
* 参考記事 [#j633ca25]
-''PowerShell Scripting Weblog''~
--[[PowerShellでスクレイピング 後編 HTMLをパースする>http...
-''Microsoft''~
--[[Invoke-WebRequest>https://docs.microsoft.com/en-us/po...
* Invoke-WebRequestを使ってウェブページを取得する [#tad9b...
''Invoke-WebRequest''コマンドレットをすることにより、簡単...
** オプションなしでInvoke-WebRequestを実行 [#fc12024a]
下記コマンドを実際に実行したときの出力です。
Invoke-WebRequest URL
PS C:\> Invoke-WebRequest http://just4fun.biz
StatusCode : 200
StatusDescription : OK
Content : <html lang="ja">
<head>
<meta http-equiv="Content-Type" cont...
<style type="text/css">
html, body {
width: 100%;
height: 100%;
margin:...
RawContent : HTTP/1.1 200 OK
Connection: keep-alive
Vary: Accept-Encoding
Accept-Ranges: bytes
Content-Length: 2294
Content-Type: text/html
Date: Tue, 17 Apr 2018 03:31:31 GMT
Last-Modified: Fri, 14 Jul 201...
Forms : {}
Headers : {[Connection, keep-alive], [Vary, Ac...
..}
Images : {@{innerHTML=; innerText=; outerHTML...
t=; tagName=IMG; src=http://linux.ju...
=<IMG src="http://win.just4fun.biz/i...
un.biz/image/logo.png}, @{innerHTML=...
logo.png">; outerText=; tagName=IMG;...
rText=; outerHTML=<IMG src="http://c...
e=IMG; src=http://cryptocurrency.jus...
InputFields : {}
Links : {@{innerHTML=<IMG src="http://linux....
"http://linux.just4fun.biz"><IMG src...
tagName=A; href=http://linux.just4f...
ãã; outerHTML=<A href="http://li...
ãã; tagName=A; href=http://linu...
image/logo.png"> ; innerText= ; oute...
st4fun.biz/image/logo.png"> </A>; ou...
L=Windowsã¨æ®ãã; innerText=Win...
>Windowsã¨æ®ãã</A>; outerText=...
...}
ParsedHtml : mshtml.HTMLDocumentClass
RawContentLength : 2294
以下の通り、HtmlWebResponseObjectが返却されているのが確認...
PS C:\> (Invoke-WebRequest http://just4fun.biz).GetType()
IsPublic IsSerial Name ...
-------- -------- ---- ...
True False HtmlWebResponseObject ...
以下のようにメンバーを指定すれば、HTTPステータスなども取...
PS C:\> $html=(Invoke-WebRequest http://just4fun.biz)
PS C:\> $html.StatusCode
200
PS C:\> $html.RawContentLength
2294
** 取得したHTMLをファイルに出力する場合 [#f832a5fd]
ファイルに出力したい場合は、以下のようになります。
Invoke-WebRequest URL -OutFile ファイル名
実際に実行したときの出力は以下の通りです。
PS C:\Users\sakura\Desktop> Invoke-WebRequest http://jus...
PS C:\Users\sakura\Desktop> Get-ChildItem .\html.txt
ディレクトリ: C:\Users\sakura\Desktop
Mode LastWriteTime Length Name
---- ------------- ------ ----
-a---- 2018/04/17 12:37 2294 html.txt
ファイルに出力されているのが確認できます。
** -UseBasicParsingパラメータ [#sc68424f]
Invoke-WebRequestの-UseBasicParsingを使うとブラウザエンジ...
参考記事~
-[[PowerShellでスクレイピング 後編 HTMLをパースする>http:...
上記の参考記事を参考にさせて頂きますと、AllElements、Form...
もし、HTML以外の要素で上行のプロパティ必要とする場合は(ブ...
付与しないでください。
#htmlinsertpcsp(win-btm.html,win-sp.html)
終了行:
#navi(../)
* PowerShellでwgetやcurlのようにウェブページを取得する方...
Invoke-WebRequestコマンドレットを使用することにより、wget...
以下に実行例等を記します。
#contents
#htmlinsertpcsp(win-top.html,win-sp.html)
* 確認環境 [#z5b0a6b6]
- PowerShellバージョン
PS C:\> $PSVersionTable.PSVersion
Major Minor Build Revision
----- ----- ----- --------
5 1 16299 251
- OS(Windows10)
PS C:\> (Get-WmiObject Win32_OperatingSystem).Version
10.0.16299
* 参考記事 [#j633ca25]
-''PowerShell Scripting Weblog''~
--[[PowerShellでスクレイピング 後編 HTMLをパースする>http...
-''Microsoft''~
--[[Invoke-WebRequest>https://docs.microsoft.com/en-us/po...
* Invoke-WebRequestを使ってウェブページを取得する [#tad9b...
''Invoke-WebRequest''コマンドレットをすることにより、簡単...
** オプションなしでInvoke-WebRequestを実行 [#fc12024a]
下記コマンドを実際に実行したときの出力です。
Invoke-WebRequest URL
PS C:\> Invoke-WebRequest http://just4fun.biz
StatusCode : 200
StatusDescription : OK
Content : <html lang="ja">
<head>
<meta http-equiv="Content-Type" cont...
<style type="text/css">
html, body {
width: 100%;
height: 100%;
margin:...
RawContent : HTTP/1.1 200 OK
Connection: keep-alive
Vary: Accept-Encoding
Accept-Ranges: bytes
Content-Length: 2294
Content-Type: text/html
Date: Tue, 17 Apr 2018 03:31:31 GMT
Last-Modified: Fri, 14 Jul 201...
Forms : {}
Headers : {[Connection, keep-alive], [Vary, Ac...
..}
Images : {@{innerHTML=; innerText=; outerHTML...
t=; tagName=IMG; src=http://linux.ju...
=<IMG src="http://win.just4fun.biz/i...
un.biz/image/logo.png}, @{innerHTML=...
logo.png">; outerText=; tagName=IMG;...
rText=; outerHTML=<IMG src="http://c...
e=IMG; src=http://cryptocurrency.jus...
InputFields : {}
Links : {@{innerHTML=<IMG src="http://linux....
"http://linux.just4fun.biz"><IMG src...
tagName=A; href=http://linux.just4f...
ãã; outerHTML=<A href="http://li...
ãã; tagName=A; href=http://linu...
image/logo.png"> ; innerText= ; oute...
st4fun.biz/image/logo.png"> </A>; ou...
L=Windowsã¨æ®ãã; innerText=Win...
>Windowsã¨æ®ãã</A>; outerText=...
...}
ParsedHtml : mshtml.HTMLDocumentClass
RawContentLength : 2294
以下の通り、HtmlWebResponseObjectが返却されているのが確認...
PS C:\> (Invoke-WebRequest http://just4fun.biz).GetType()
IsPublic IsSerial Name ...
-------- -------- ---- ...
True False HtmlWebResponseObject ...
以下のようにメンバーを指定すれば、HTTPステータスなども取...
PS C:\> $html=(Invoke-WebRequest http://just4fun.biz)
PS C:\> $html.StatusCode
200
PS C:\> $html.RawContentLength
2294
** 取得したHTMLをファイルに出力する場合 [#f832a5fd]
ファイルに出力したい場合は、以下のようになります。
Invoke-WebRequest URL -OutFile ファイル名
実際に実行したときの出力は以下の通りです。
PS C:\Users\sakura\Desktop> Invoke-WebRequest http://jus...
PS C:\Users\sakura\Desktop> Get-ChildItem .\html.txt
ディレクトリ: C:\Users\sakura\Desktop
Mode LastWriteTime Length Name
---- ------------- ------ ----
-a---- 2018/04/17 12:37 2294 html.txt
ファイルに出力されているのが確認できます。
** -UseBasicParsingパラメータ [#sc68424f]
Invoke-WebRequestの-UseBasicParsingを使うとブラウザエンジ...
参考記事~
-[[PowerShellでスクレイピング 後編 HTMLをパースする>http:...
上記の参考記事を参考にさせて頂きますと、AllElements、Form...
もし、HTML以外の要素で上行のプロパティ必要とする場合は(ブ...
付与しないでください。
#htmlinsertpcsp(win-btm.html,win-sp.html)
ページ名: